ISI ถูกวิพากษ์วิจารณ์ตลอดมาถึงความครอบคลุมของจำนวนชื่อวารสารที่ปรากฏในฐานมีเพียงเฉพาะวารสารภาษาอังกฤษ จาก สหรัฐอเมริกา และยุโรป และยังไม่ครอบคลุม หนังสือ รายงานการประชุม ซึ่งมีการอ้างอิงถึงเช่นกันด้วย ดังนั้นการเกิดขึ้นของฐานข้อมูลการอ้างอิงใหม่จึงได้รับการตอบรับเป็นอย่างดี

การวิเคราะห์การอ้างอิง คือการนับจำนวนครั้งที่บทความวิจัย/นักวิจัยได้รับการอ้างอิงจากบทความอื่นๆ ด้วยสมมติฐานที่ว่า สำคัญ/มีอิทธิพล ได้รับสูงกว่าเป็นดัชนีที่สูงกว่า การ Peer Review และ จำนวนผลงานที่ตีพิมพ์

มีกลุ่มนักวิชาการที่ยังไม่ยอมรับว่า วิธีวัดค่าอ้างอิงนี้ว่าเป็นวิธีที่ดีที่สุด เนื่องจากมีข้อผิดพลาด เช่น ในเรื่องผู้แต่งที่มีชื่อสกุล/ชื่อต้นเหมือนกัน หรือเพื่อนร่วมงานอ้างอิงให้กันเพื่อเพิ่มจำนวนการอ้างอิงในกลุ่มเดียวกัน ส่วนกลุ่มผู้สนับสนุนเรื่องการวิเคราะห์การอ้างอิงนี้ กล่าวว่าข้อผิดพลาดเหล่านี้มีเพียงเล็กน้อยไม่สำคัญ การอ้างอิงถึงบทความ หนังสือ ถือว่ามีประโยชน์ในแง่เป็นการแสดงถึงความเคารพต่อผู้บุกเบิก สามารถระบุถึงผลงานแรกเริ่ม ให้ข้อมูลพื้นภูมิหลัง เป็นการกระตุ้นเพื่อให้เกิดงานใหม่ พิสูจน์ถึงการให้เครดิตงานที่เกี่ยวข้อง งานที่ไม่ได้รับการอ้างอิงถึงแม้ว่ายังมีความคลุมเครือในวัตถุประสงค์ในการวัดจำนวนการอ้างอิงเพื่อให้ทราบถึง ผลผลิต ความสำคัญ คุณภาพ การใช้ประโยชน์ การมีอิทธิพล การมีประสิทธิภาพที่มีผลกระทบต่อนักวิจัย ก็ยังไม่มีวิธีการที่ดีที่สุดในการวัดฐานข้อมูลการอ้างอิงของ ISI ที่เริ่มให้บริการตั้งแต่ปี 1961 ประกอบด้วยสาขา วิทยาศาสตร์/สังคม/มนุษยศาสตร์ ถูกใช้มาหลายทศวรรษ เป็นเครื่องมือเริ่มต้นในการวิเคราะห์การอ้างอิง ขณะนี้มีบทความประมาณ 40 ล้านรายการจากวารสารชั้นนำของโลก 8,700 ชื่อ และในปัจจุบันถือเป็นฐานหนึ่งที่มีความสำคัญหนึ่งของโลก ISI มีพัฒนาการตลอดมาตั้งแต่ปี 1970 เปิดให้บริการบนระบบฐานข้อมูล Dialog ปี 1980 ผลิตในรูปซีดี-รอม และในปี 1997เปิดบริการบนเว็บในชื่อ Web of Science ทำให้มีการใช้เป็นเครื่องมือในการวิเคราะห์การอ้างอิงได้อย่างสะดวกรวดเร็ว และในขณะเดียวกันเว็บก่อให้เกิดผู้แข่งขัน ที่ให้บริการในลักษณะเดียวกันนี้ ก่อให้เกิดความท้าทายต่อ ISI ยิ่งขึ้น

ปัญหาของฐานข้อมูล ISI ในระยะที่ผ่านมานี้ คือ การละเลยในการรับรู้ในข้อเท็จจริงที่ว่าปัจจุบัน พฤติกรรมการตีพิมพ์ผลงานของนักวิจัย มีการตีพิมพ์ในวารสารออนไลน์แบบเปิด (Open Access Journal) ในหน้าเว็บเพจส่วนบุคคล/หรือในคลังความรู้ของสถาบัน (Institational Repository) สูงมากขึ้นกว่าในอดีตมาก ซึ่งข้อมูลเหล่านี้เปิดให้เข้าถึงได้อย่างเสรี ในขณะเดียวกัน นักวิทยาศาสตร์มีการใช้บริการสืบค้นและ Download เอกสารการวิจัยจากบริการชื่อใหม่ๆ เช่น ar Xiv.org/Google scholar/ Elsevier Science Direct ซึ่งมีผลให้เกิดชุมชนนักวิชาการในวงกว้างขึ้นใช้ร่วมกันและเกิดการอ้างอิงต่อมา ซึ่งบทความเหล่านี้ไม่ได้ถูกจัดทำดัชนีในฐานข้อมูล ISI ฐานข้อมูลดัชนีการอ้างอิงชุดใหม่ที่เกิดขึ้นเพิ่มมากขึ้น ทำให้สามารถสืบค้นหาข้อมูลการอ้างอิงให้เปิดเผยอย่างมากขึ้นฐานข้อมูลการอ้างอิงรุ่นใหม่ เช่น Scopus/ Google Scholar ให้ข้อมูลรูปแบบการอ้างอิงของบทความวิจัย/นักวิจัย ถือเป็นการจุดสิ้นสุดของการถือเอกสิทธิ์เป็นหนึ่งเดียวของฐานข้อมูล ISI ที่มีอายุยืนยาวเกือบ 40 ปีการประเมินถึงคุณภาพ/ผลกระทบของผลงานวิจัยสาขาวิทยาศาสตร์และเทคโนโลยี จำเป็นต้องใช้เครื่องมือ/ฐานข้อมูลให้หลากหลายมากขึ้นกว่าเดิมที่ใช้เพียง 1 แหล่ง ตัวอย่าง หนังสือชื่อ Quantum Computation & Quantum Information โดยผู้แต่ง M. Nilsen & I. Chuang ปี ค.ศ. 2000 โดยสำนักพิมพ์ Cambridge University Press

• พบได้รับการอ้างอิงมากกว่า 2,800 ครั้ง จากฐานข้อมูล ISI : WOS.
• เมื่อสืบค้นจากฐานข้อมูล Scopus พบว่า ได้รับการอ้างอิง 3,150 ครั้ง
• จาก Google Scholar พบได้รับการอ้างอิง 4,300 ครั้ง
• จาก Physical Review Online Archive พบได้รับการอ้างอิง 1,500 ครั้ง
• จาก Science Direct พบได้รับการอ้างอิง 375 ครั้ง
• จาก Institute of Physics J.Archive พบได้รับการอ้างอิง 290 ครั้ง
• จาก arXiv.org of Physics J.Archive พบได้รับการอ้างอิง 325 ครั้ง

ฉะนั้นหากใช้แหล่งข้อมูลการอ้างอิงเพียงแหล่งใดแหล่งหนึ่ง จะทำให้ ข้อมูลการอ้างอิงที่ผิดพลาดทั้งหมด

จากผลงานวิจัยของ มหาวิทยาลัย อินเดียนา สหรัฐอเมริกา เปรียบเทียบหาข้อมูลการอ้างอิงของบทความของนักวิทยาศาสตร์ที่มีการสืบค้นในสาขา Information Science จากแหล่งข้อมูลหลายแหล่งคือ Web of Science /Scopus/ Google Scholar ผลการวิจัยพบว่า Scopus และ Google Scholar ให้จำนวนการอ้างอิงเพิ่มมากขึ้นร้อยละ 35 และ 160 ตามลำดับ โดยทั้งนี้พบข้อมูลสำคัญที่ว่าพฤติกรรมการอ้างอิงในแต่ละสาขาวิชาแตกต่างกันไป และยังค้นพบเรื่องที่สำคัญอีกว่า เห็นความเชื่อมโยงของสาขาวิชาโดยในศึกษาเรื่องนี้เป็นสาขาสารสนเทศศาสตร์ (information Science) พบมีความเชื่อมโยงกับสาขาวิทยาการคอมพิวเตอร์ (Computer Science) สาขาการศึกษา (Education) สาขาวิศวกรรมศาสตร์ (Engineering) และสาขา Cognitive Science จากหลักฐานนี้ สรุปได้ว่า การศึกษาวิจัยในสาขาวิชาต่างๆ มีแนวโน้มที่จะเป็นสหสาขาวิชามากขึ้น (Multidisciplinary) ซึ่งไม่สามารถพบข้อมูลนี้ได้หากใช้แหล่งข้อมูลจากฐานข้อมูล ISI เพียงแหล่งเดียว การใช้แหล่งข้อมูลที่หลากหลายมากขึ้นเกิดภาพแสดงความสัมพันธ์ของสาขาวิชาต่างๆ ช่วยสร้างแผนที่/ภาพของการสื่อสารทางวิชาการได้ถูกต้องชัดเจนมากยิ่งขึ้น เช่น ความสัมพันธ์ระหว่างผู้แต่ง หน่วยงาน สาขาวิชาประเทศ วารสาร

การเกิดขึ้นฐานข้อมูลการอ้างอิงแบบเว็บเบส (Web-Based Citation Database) ในช่วงเวลา 2 ปีที่ผ่านมานี้ ได้รับความนิยมจากนักวิเคราะห์การอ้างอิงอย่างดียิ่ง ทำให้งานการสืบค้นและวิเคราะห์ข้อมูลการอ้างอิงเป็นงานที่ท้าทายมากยิ่งขึ้น ฐานข้อมูลการอ้างอิงชุดใหม่ไม่ได้ครอบคลุมเฉพาะวารสาร รายงานการประชุมเท่านั้น ยังรวบรวมสิ่งพิมพ์ประเภทต่างๆ ในหลากหลายภาษา เช่น เฉพาะบทของหนังสือ วิทยานิพนธ์ รายงานการวิจัย รวมจำนวนหลายล้านรายการ